Proximity Operators of Discrete Information Divergences

Information divergences allow one to assess how close two distributions are from each other. Among the large panel of available measures, a special attention has been paid to convex $\varphi$-divergences, such as Kullback-Leibler, Jeffreys-Kullback, Hellinger, Chi-Square, Renyi, and I$_{\alpha}$ divergences. While $\varphi$-divergences have been extensively studied in convex analysis, their use in optimization problems often remains challenging. In this regard, one of the main shortcomings of existing methods is that the minimization of $\varphi$-divergences is usually performed with respect to one of their arguments, possibly within alternating optimization techniques. In this paper, we overcome this limitation by deriving new closed-form expressions for the proximity operator of such two-variable functions. This makes it possible to employ standard proximal methods for efficiently solving a wide range of convex optimization problems involving $\varphi$-divergences. In addition, we show that these proximity operators are useful to compute the epigraphical projection of several functions of practical interest. The proposed proximal tools are numerically validated in the context of optimal query execution within database management systems, where the problem of selectivity estimation plays a central role. Experiments are carried out on small to large scale scenarios

A proximal approach for optimization problems involving Kullback divergences

International audienceConvex optimization problems involving information measures have been extensively investigated in source and channel coding. These measures can also be successfully used in inverse problems encountered in signal and image processing. The related optimization problems are often challenging due to their large size. In this paper, we derive closed-form expressions of the proximity operators of Kullback-Leibler and Jeffreys-Kullback divergences. Building upon these results, we develop an efficient primal-dual proximal approach. This allows us to address a wide range of convex optimization problems whose objective function expression includes one of these divergences. An image registration application serves as an example for illustrating the good performance of the proposed method

A Nonsmooth Graph-Based Approach to Light Field Super-Resolution

In this article we propose a new super-resolution algorithm tailored for light field cameras, which suffer by design from a limited spatial resolution. To do so, we cast the light field super-resolution problem into an optimization problem, where the particular structure of the light field data is captured by a nonsmooth graph-based regularizer, and all the light field views are super-resolved jointly. In our experiments, we show that the proposed method compares favorably to the state-of-the-art light field super-resolution algorithms in terms of PSNR and visual quality. In particular, the nonsmooth graph-based regularizer leads to sharper images while preserving fine details

Méthodes proximales pour l'estimation du champ de disparité à partir d'une paire d'images stéréoscopiques en présence de variations d'illumination

National audienceLa présence de variations d'illumination dans les problèmes de mise en correspondance stéréoscopique introduit une difficulté supplémentaire importante. Dans cet article est proposée une nouvelle méthode proximale pour résoudre le problème d'estimation de la disparité en présence de changements d'illumination dans la scène observée. L'approche de mise en correspondance est formulée comme un problème d'optimisation convexe sous contrainte. Une fonction objectif convexe est alors minimisée sur l'intersection d'ensembles convexes. Ces ensembles sont associés à différentes contraintes modélisant des informations a priori sur les propriétés des champs à estimer. Pour résoudre ce problème d'estimation sous contraintes, l'algorithme parallèle proximal (PPXA+) a été adopté afin d'estimer conjointement les deux champs de variables qui représentent la disparité et les changements d'illumination. Des résultats espérimentaux obtenus sur des images synthétiques et réelles montrent l'efficacité et la robustesse de la méthode proposée

Disparity map estimation under convex constraints using proximal algorithms

International audienceIn this paper, we propose a new approach for estimating depth maps of stereo images which are prone to various types of noise. This method, based on a parallel proximal algorithm, gives a great flexibility in the choice of the constrained criterion to be minimized, thus allowing us to take into account different types of noise distributions. Our main objective is to present an iterative estimation method based on recent convex optimization algorithms and proximal tools. Results for several error measures demonstrate the effectiveness and robustness of the proposed method for disparity map estimation even in the presence of perturbations

Méthodes proximales convexes pour la minimisation des Phi-divergences : applications à la stéréo vision

Convex optimization aims at searching for the minimum of a convex function over a convex set. While the theory of convex optimization has been largely explored for about a century, several related developments have stimulated a new interest in the topic. The first one is the emergence of efficient optimization algorithms, such as proximal methods, which allow one to easily solve large-size nonsmooth convex problems in a parallel manner. The second development is the discovery of the fact that convex optimization problems are more ubiquitous in practice than was thought previously. In this thesis, we address two different problems within the framework of convex optimization. The first one is an application to computer stereo vision, where the goal is to recover the depth information of a scene from a pair of images taken from the left and right positions. The second one is the proposition of new mathematical tools to deal with convex optimization problems involving information measures, where the objective is to minimize the divergence between two statistical objects such as random variables or probability distributions. We propose a convex approach to address the problem of dense disparity estimation under varying illumination conditions. A convex energy function is derived for jointly estimating the disparity and the illumination variation. The resulting problem is tackled in a set theoretic framework and solved using proximal tools. It is worth emphasizing the ability of this method to process multicomponent images under illumination variation. The conducted experiments indicate that this approach can effectively deal with the local illumination changes and yields better results compared with existing methods. We then extend the previous approach to the problem of multi-view disparity estimation. Rather than estimating a single depth map, we estimate a sequence of disparity maps, one for each input image. We address this problem by adopting a discrete reformulation that can be efficiently solved through a convex relaxation. This approach offers the advantage of handling both convex and nonconvex similarity measures within the same framework. We have shown that the additional complexity required by the application of our method to the multi-view case is small with respect to the stereo case. Finally, we have proposed a novel approach to handle a broad class of statistical distances, called φ-divergences, within the framework of proximal algorithms. In particular, we have developed the expression of the proximity operators of several φ-divergences, such as Kulback-Leibler, Jeffrey-Kulback, Hellinger, Chi-Square, I_α, and Renyi divergences. This allows proximal algorithms to deal with problems involving such divergences, thus overcoming the limitations of current state-of-the-art approaches for similar problems. The proposed approach is validated in two different contexts. The first is an application to image restoration that illustrates how to employ divergences as a regularization term, while the second is an application to image registration that employs divergences as a data fidelity termCette thèse s'inscrit dans le contexte de l'optimisation convexe. Elle apporte à ce domaine deux contributions principales. La première porte sur les méthodes d'optimisation convexe non lisse appliquées à la vision par ordinateur. Quant à la seconde, elle fournit de nouveaux résultats théoriques concernant la manipulation de mesures de divergences, telles que celles utilisées en théorie de l'information et dans divers problèmes d'optimisation. Le principe de la stéréovision consiste à exploiter deux images d'une même scène prises sous deux points de vue, afin de retrouver les pixels homologues et de se ramener ainsi à un problème d'estimation d'un champ de disparité. Dans ce travail, le problème de l'estimation de la disparité est considéré en présence de variations d'illumination. Ceci se traduit par l'ajout, dans la fonction objective globale à minimiser, d'un facteur multiplicatif variant spatialement, estimé conjointement avec la disparité. Nous avons mis l'accent sur l'avantage de considérer plusieurs critères convexes et non-nécessairement différentiables, et d'exploiter des images multicomposantes (par exemple, des images couleurs) pour améliorer les performances de notre méthode. Le problème d'estimation posé est résolu en utilisant un algorithme parallèle proximal basé sur des développements récents en analyse convexe. Dans une seconde partie, nous avons étendu notre approche au cas multi-vues qui est un sujet de recherche relativement nouveau. Cette extension s'avère particulièrement utile dans le cadre d'applications où les zones d'occultation sont très larges et posent de nombreuses difficultés. Pour résoudre le problème d'optimisation associé, nous avons utilisé des algorithmes proximaux en suivant des approches multi-étiquettes relaxés de manière convexe. Les algorithmes employés présentent l'avantage de pouvoir gérer simultanément un grand nombre d'images et de contraintes, ainsi que des critères convexes et non convexes. Des résultats sur des images synthétiques ont permis de valider l'efficacité de ces méthodes, pour différentes mesures d'erreur. La dernière partie de cette thèse porte sur les problèmes d'optimisation convexe impliquant des mesures d'information (Φ-divergences), qui sont largement utilisés dans le codage source et le codage canal. Ces mesures peuvent être également employées avec succès dans des problèmes inverses rencontrés dans le traitement du signal et de l'image. Les problèmes d'optimisation associés sont souvent difficiles à résoudre en raison de leur grande taille. Dans ce travail, nous avons établi les expressions des opérateurs proximaux de ces divergences. En s'appuyant sur ces résultats, nous avons développé une approche proximale reposant sur l'usage de méthodes primales-duales. Ceci nous a permis de répondre à une large gamme de problèmes d'optimisation convexe dont la fonction objective comprend un terme qui s'exprime sous la forme de l'une de ces divergence

Yapa: Accelerated Proximal Algorithm for Convex Composite Problems

International audienc